Lúc Nhạc mới ra đời, có một con chim sẻ đậu trên vai trái của mẹ ông, thầy bói đều nói đó là điềm được phú quý, nhân vậy mà có tên Tương Quý, về sau dùng làm tên tự. Khi trưởng thành, Nhạc tính khoan hậu lại có đảm lược.

Khi lưu dân Hà Bắc khởi nghĩa, Nhạc mới 19 tuổi, theo về với Cát Vinh, được thụ tước Kinh Triệu vương. Sau khi Vĩnh thất bại, đi theo Nhĩ Chu Vinh, làm biệt tướng khi chinh thảo Nguyên Hạo, nhờ công được phong Phu Thành huyện nam.

Cao Hoan làm Tấn Châu mục, lấy Nhạc làm đô tướng giữ thành. Tham gia phá Nhĩ Chu Triệu ở Quảng A, được tiến tước Quảng Tông huyện bá. Nhờ lập thêm nhiều quân công mà được bái làm Đông Ung Châu thứ sử. Cao Hoan muốn phế Đông Ung Châu, ông cho rằng châu này nối liền 2 khu vực phía bắc và phía tây, không thể bỏ, nên được như cũ.

2 nước Đông – Tây Ngụy giao chiến (538), quân Tây Ngụy lui chạy, chỉ có Nhạc và Lưu Phong đề nghị truy kích, chư tướng đều không đồng ý. Cao Hoan hài lòng về ông, nhưng không cho truy kích. Được đổi phong Kim Môn quận công.

Cao Dương lên nắm quyền, Nhạc trấn thủ Hà Dương, phá được tướng Tây Ngụy là bọn Dương Phiêu. Cao Dương đã sai bọn Hoài Châu thứ sử Bình Giám đắp thành để lấn đất, nhưng muốn bỏ giữa chừng, ông cho rằng Chỉ Quan là nơi yếu hại, cần tu sửa cho chắc chắn; nên nhận làm tiếp việc ấy, cắt đặt thêm binh tướng, rồi trở về Hà Dương, được bái làm Tư không.

Trong lễ thụ thiện của Cao Dương, tức Bắc Tề Văn Tuyên đế, Nhạc là người dâng tỷ thụ. Được tiến phong Hà Đông quận vương, thăng làm Tư đồ. Vũ Văn Thái đưa quân đến vùng Hào, Thiểm, sai Hành đài Hầu Mạc Trần Sùng từ Tề Tử Lãnh rảo đến Chỉ Quan, Nghi đồng Dương Phiêu từ Cổ Chung Đạo ra Kiến Châu, chiếm được Cô Công Thú. Ông nhận lệnh nắm đại quân chống lại. Nhạc đêm ngày lên đường, đến Trường Tử, sai Nghi đồng Hàn Vĩnh Hưng từ Kiến Châu tây tiến đến chỗ Sùng, Sùng bỏ chạy.

Khi Hầu Cảnh phản, Nhạc làm Nam đạo đại đô đốc, tham gia chinh thảo. Ông đưa quân ra khỏi Thạch Miết Cốc, vượt Hoàng Hà sang bờ nam hơn trăm dặm, chiếm Kính Châu của nhà Lương, rồi hạ tiếp An Châu. Được nhận chức Doanh Châu thứ sử, tiếp tục chinh chiến ở lưu vực Hoài, Hán.

Năm Thiên Bảo thứ 6 (555), hoăng ở Huyền Hồ. Được tặng Giả hoàng việt, Thái sư, Đại tư mã, Thượng thư lệnh. Con là Tử Hoảng kế tự.